当做好了PC站点与移动站点的适配之后,接下来就是等待百度的抓取收录了。重庆SEO公司可以通过以下几点来加速网站被搜索引擎抓取。
(1)不要通过 robots agent封禁的方式调配PC或移动蜘蛛如果发现你的网站 robots文件中出现了 User-agent:*和 Disallow:/的写法,就代表封禁了所有搜索引擎抓取网站的网页。
(2)不要将重要的页面添加nofo|oM标签
(3)不要在服务器端轻易设置屏蔽某P段的访问,很有可能该IP就是搜索引擎能够识别的百度移动ua。
之前通过htt://baidu.com/search/spider.htm进行识别的网站请注意!您需要修改识别方式,新的正确地识别爬虫移动ua的方法如下。
①通过关键词“ Android或者“ Mobile"进行识别,判断为移动访问或者抓取。
②通过关键词“ Baiduspider2.0”进行识别,判断为百度爬虫。
另外需要强调的是,对于 robots封禁,如果封禁的 agent是爬虫会对PC和移动同时生效。即无论是PC还是移动爬虫,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同个URL,用PCua打开时是PC页,用移动ua打开时是移动页),想通过设置 Robots的 agent封禁达到只让移动爬虫抓取的目的,但由于PC和移动爬虫的agen嘟都是爬虫,这种方法是非常不可取的。
(4)通过百度站长工具中的链接提交工具进行实时提交。
(5)制作好移动站点的 sitemap文件,并通过百度站长工具的sitemap方式提交。
(6)通过分析移动站点的og日志,找到响应代码异常的排查原因并解决。
(7)服务器错误:爬虫发起抓取,httpcode返回码是5××。
(8)访问被拒绝:爬虫发起抓取,httpcode返回码是403。
(9)找不到页面:爬虫发起抓取,httpcode返回码是404。
(10)其他错误:爬虫发起抓取,httpcode返回码是4xx,不包括403和404。
